When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide
何时能信任等成本 Top-k 分配的离线评估？
🧭 离线策略评估 · 确定性 Top-k 分配 ★ 深度解读
Independent Researcher
Top-k 离线评估：logger-目标动作对齐决定重叠，DR 最稳，诚实策略级切分才能消除优化者诅咒
📌 工作参考价值（4 点）
- 离线评估新排序/预算分配策略前，先算 logger 与目标策略的 action alignment，不要只看 logging policy 的温度或平滑度。可用 logged actions + propensities 计算 ESS 跨环境排序风险，但 cut point 需按自己的样本量重校准；同一份日志内 ESS 对候选策略排序几乎无效（ρ≈-0.11）。
- 倾向得分模型质量是第一优先级：文中 flexible πb 估计让 IPS 失败率从 6.3% 升至 37-63%，甚至把 ESS 诊断 AUC 从 0.85 反转为 0.05。业务上用 OPE 评估预算分配务必先验证 propensity model，否则诊断会误导；DR 对倾向估计误差几乎免疫，适合作为默认估计器。
- 评估用同数据训练的策略时，不要只做 outcome nuisance cross-fitting，必须做 policy-level honest splitting：每个 fold 重新训练策略并在 held-out fold 评估，才能消除 optimizer's curse；否则 cross-fitted DR 比 plain DR 更乐观（bias 增加 16-36%）。
- 做策略选择时，如果每个候选都有自己的 aligned log，会比较 policy-logger pairs 而不是 policies；应使用共同的 logging dataset，并注意 regret 和 accuracy 可能不一致，competitive slate 会缩小估计器差距。